上一篇看的是 garak 怎麼自動對模型跑一輪弱掃,這篇換到防守,看 Prompt Injection 防護要做在哪幾層。 AI 黑魔法(07) 講過,對模型來...
上一篇看的是六種只靠送查詢就打得了的攻擊,這篇換工具上場,把攻擊交給 garak 來執行。 garak 是 Red Team 工具,設計目的是用來測試模型安全性...
上一篇看的是攻擊者怎麼把模型教壞,從資料投毒一路做到只有特定 Trigger 才發作的後門,這篇換成一個從頭到尾都乾淨的模型,攻擊者不碰權重,只是不斷送查詢進去...
上一篇看的是模型、Tokenizer 與設定檔在交付途中有沒有被換掉,這篇看資料本身,有毒的資料是怎麼被模型學進去,最後是怎麼成長為只有特定 Trigger 才...
查核資訊: 本文於 2026-08-25 重新確認各項資源的官方頁面。OWASP 清單、靶場內容、模型版本與工具介面都可能變動;開始練習前,仍應回到官方文件確...
上一篇從模型服務出發,看的是模型呼叫用了誰的權限、花了誰的預算、碰到誰的資料,都要查得到,這篇看下載回來的模型檔案本身乾不乾淨。 從 Model Hub 或供應...
查核資訊: 本文於 2026-08-25 查核 NIST AI Risk Management Framework、NIST AI 600-1、NIST SP...
上一篇用 Tool Poisoning 打了三關,只要改掉 MCP 的工具描述,就可能讓 Agent 把 email 和整段聊天紀錄塞進原本不該出現的參數。 我...
AI 黑魔法(16) 把 MCP 的三種角色與信任邊界講完,AI 黑魔法(17) 講過工具定義本身就是攻擊面,這篇我們來直接拿 MCP Tool Poisoni...
查核資訊: 本文於 2026-08-25 查核 NIST 的 AI Red Teaming 定義、NVIDIA garak 與 Microsoft PyRIT...
上一篇從 MCP Server 出發,看 Tool Poisoning 與傳統 API 漏洞,這篇換到 Client。 Client 要跟 Server 連線、...
上一篇介紹了 MCP 的三個基本角色:Host、Client、Server,以及三種能力:Tools、Resources、Prompts,這篇繼續了解,當一個...
上一篇談 Excessive Agency 時,重點放在模型拿到了哪些工具、多少權限,以及有多大的自主空間,這篇來看 Agent 怎麼把模型、工具、記憶、設定檔...
上一篇講模型輸出後可能造成的影響,模型輸出如果直接被塞進 HTML、SQL 或 Shell,最後可能變成 XSS、SQL injection 或 Command...
前面的系列文,主要都在看「輸入」會對模型造成什麼影響,這一篇我們來看看模型的「輸出」進到系統之後,會發生什麼事? 2024 年 6 月 JFrog 公開了一個...
上一篇打完了 Break The Prompt 的前三關,從「直接問就給」一路到「修改任務目標」,今天繼續往下打第四關和第五關。 第四關:它只肯談攪拌機 第四關...
前面幾篇已經聊過 Prompt Injection、Jailbreak、間接注入和多模態注入,今天開始實際動手做,我們用的靶場是 Break The Promp...
前面幾篇談 Prompt Injection 時,攻擊指令大多出現在聊天視窗、網頁或檢索文件裡,但入口其實不只有文字欄位,圖片、PDF、音訊和影片一樣可以把內容...
AI 黑魔法(07) 把 Prompt Injection 分成直接與間接兩種,直接注入很直白、很好理解,就是攻擊者坐在聊天視窗前,把攻擊 payload 餵給...
我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 如果 AI 可以正常運作,但它真的安全嗎? Day 27...
前一篇介紹 Prompt Injection 時,我們提到模型會同時閱讀指令與資料,但兩者之間沒有像程式那樣明確、不能跨越的界線,所以混在資料裡的外部文字才有機...
先來看一篇真實案例,2023 年 2 月微軟剛推出整合 ChatGPT 的新版 Bing Chat 沒幾天,史丹佛大學的學生 Kevin Liu 在對話視窗裡打...
上一篇我們把 AI 的攻擊面拆成資料、模型、應用、系統與供應鏈五塊,畫了一張關聯圖。 這篇我們要來認識 AI 安全框架,你可以把框架想成是別人整理好的懶人包,但...
上一篇我們談到 AI Red Team 到底在測什麼,也提到一個聊天機器人背後,至少可以拆成資料、模型、應用與系統四個層次,另外還有一條貫穿所有環節的供應鏈,這...
上一篇我們提到,生成式 AI 已經成為現今防守方與攻擊者的工具,今天要再往前一步,看很多滲透測試工程師第一次接觸 AI 都會遇到的觀念轉換,打 AI 和打傳統系...
上一篇我們了解生成式 AI 的運作原理,也知道他的胡說八道來自這個生成原理之後,今天來看看生成式 AI 所帶來的攻擊實例。 2024 年跨國工程公司 Arup...
2023 年一位美國律師在準備訴訟資料時,請 ChatGPT 幫忙找相關判例,ChatGPT 很快列出六個案例,案件名稱、判決內容、引用格式一應俱全,看起來完全...
大家好,我是 Vivian,一個閒不下來的在職媽媽,目前是一名從事滲透測試工作的工程師,我一直很喜歡挑戰新事物,也習慣每年替自己設定一個新目標,今年我想挑戰一次...
上一篇介紹了 MCP 的三個基本角色:Host、Client、Server,以及三種能力:Tools、Resources、Prompts,這篇繼續了解,當一個...
上一篇我們把 Agent 拆成模型、工具、記憶、設定檔與自主迴圈,但當工具越接越多,就碰到一個工程問題:不同的 AI 應用,能不能用一種共同語言去連這些東西?...